Миссия выполнена! Вы освоили основы языка искусственного интеллекта!Не совсем верно! Давайте попробуем воссоздать эту последовательность!Знания загружены: токены и последовательности ... А это ... ? ... Или ...
Как мы называем мелкие строительные блоки, которые использует ИИ для чтения?
Верно! Токены — это маленькие единицы, такие как «яблоко», «инг» или «?», из которых состоит язык для ИИ.
Как компьютер представляет токен, чтобы понять его?
Верно! Компьютеры понимают только числа, поэтому каждый токен получает свой уникальный номер идентификации.
Если у нас есть токены для «друг» и «корабль», как называется слово «дружба», когда оно представлено в виде списка чисел?
Правильно! Упорядоченный список номеров токенов называется последовательностью.
Почему порядок токенов в последовательности так важен?
Точно! Одни и те же токены в другом порядке могут полностью изменить смысл предложения.
Каково ограничение по количеству токенов, которые ИИ может обработать одновременно?
Вы правы! Окно контекста — это граница того, сколько информации ИИ может «помнить» во время разговора.
Может ли один знак препинания, например точка (.), быть токеном?
Правильно! Токены могут быть целыми словами, частями слов или даже знаками препинания. Всё является строительным блоком!
1
Токенизация и последовательности
EvoClass-AI004Лекция 4
0
🤖 Бип-боп! Добро пожаловать, кадет! Выберите подтему ниже, чтобы увидеть, как ИИ «читает» с помощью токенизации.
Команда Пай-ботаВ ЭФИРЕ
Бип-боп! Привет, кадет! Чтобы научить ИИ читать, мы сначала должны разрезать слова на мелкие «Лего»-блоки. Готовы узнать, как компьютеры превращают слова в числа?
Прогресс темы0%
Отличный выбор! Токен — это как кубик Лего. Слова, такие как «дружба», делятся на более мелкие части, такие как «друг» и «корабль». Даже простая точка — это токен! Для ИИ эти части легче обрабатывать, чем длинные предложения целиком.
1
Подтема 1
Что такое токен?
Разрезание текста на мелкие строительные блоки, такие как «друг» и «корабль».
Посмотрите на это! Как только у нас есть токены, ИИ присваивает каждому из них секретный номер идентификации. Эти числа образуют «последовательность». Помните: порядок имеет значение! «Собака укусила человека» и «Человек укусил собаку» используют одни и те же блоки, но последовательность рассказывает совершенно другую историю!
2
Подтема 2
Сила последовательностей
Преобразование блоков в математический список, где важен каждый порядок.
Знаете ли вы? У ИИ есть «окно контекста», которое похоже на размер его ладони. Оно может хранить только определённое количество токенов в своём «уме» за раз, после чего начинает забывать начало!
Знаете ли вы?
У ИИ есть «окно контекста», которое похоже на размер его ладони. Оно может хранить только определённое количество токенов в своём «уме» за раз, после чего начинает забывать начало!
Загрузка...
⭐⭐⭐

Миссия выполнена!

Вы — мастер токенов!